arXiv:2402.17433v3 [cs.CL] 2024 年 6 月 10 日__

arXiv:2402.17433v3 [cs.CL] 2024 年 6 月 10 日

可下载资源数量

已经购买

下载数量：1

单价	0 1.0
Coupon	100% 0%
Total	0 1.0

点击下载点击购买并下载

点击购买，资源将自动在新窗口打开.

机构名称：

arXiv:2402.17433v3 [cs.CL] 2024 年 6 月 10 日

¥ 1.0

热度

从非侵入性脑电图 (EEG) 重建自然语言作为脑机接口 (BCI) 的语言解码技术有着巨大的应用前景。然而，基于 EEG 的语言解码仍处于起步阶段，面临着一些技术问题，例如：1）缺乏能够有效结合跨模态（EEG 和文本之间）自学习与 EEG 特征或文本序列的模态内自重建的混合策略；2）未充分利用大型语言模型 (LLM) 来增强基于 EEG 的语言解码。为了解决上述问题，我们提出了对比 EEG-T 文本询问自动编码器 (CET-MAE)，这是一种新颖的模型，它通过专用的多流编码器在 EEG 和文本之间和内部协调复合自监督学习。此外，我们开发了一个名为 E2T-PTR（使用预训练可迁移表示进行 EEG 到 T 文本解码）的框架，该框架利用预训练模块以及来自 CET-MAE 的 EEG 流，并进一步使 LLM（特别是 BART）能够从 EEG 序列中解码文本。在流行的文本诱发 EEG 数据库 ZuCo 上进行的全面实验证明了 E2T-PTR 的优越性，它在 ROUGE-1 F1 和 BLEU-4 得分上分别比基线框架高出 8.34% 和 32.21%。我们提出的预训练 EEG-Text 模型显示出改善涉及 EEG 和文本的下游任务的潜力。这为其在内部语音 BCI 范式中的应用开辟了有希望的途径，值得进一步研究。

添加pdf代下载 VIP点击下载文件